Reprodukcijos krizė: tyrimų patikimumo supratimas ir sprendimas

Pastaraisiais metais mokslininkų bendruomenėje iškilo vis didesnis susirūpinimas, dažnai vadinamas „reprodukcijos krize“. Ši krizė pabrėžia nerimą keliantį tempą, kuriuo nepriklausomiems tyrėjams nepavyksta pakartoti ar atkurti mokslinių tyrimų rezultatų įvairiose disciplinose. Tai kelia esminius klausimus apie publikuojamų tyrimų patikimumą ir pagrįstumą bei turi plačias pasekmes mokslui, politikai ir visuomenei.

Kas yra reprodukcijos krizė?

Reprodukcijos krizė nėra tik pavieniai nepavykusių eksperimentų atvejai. Tai sisteminė problema, kai didelės dalies paskelbtų mokslinių tyrimų rezultatų negalima nepriklausomai patikrinti. Tai gali pasireikšti keliais būdais:

• Pakartojimo nesėkmė (Replication Failure): Nesugebėjimas gauti tų pačių rezultatų, kartojant tyrimą naudojant tas pačias medžiagas ir metodus kaip ir pirminiame tyrime.
• Reprodukcijos nesėkmė (Reproducibility Failure): Nesugebėjimas gauti tų pačių rezultatų, iš naujo analizuojant pirminius duomenis naudojant tuos pačius analizės metodus.
• Apibendrinamumo problemos: Kai konkretaus tyrimo išvados negali būti pritaikytos kitoms populiacijoms, kontekstams ar aplinkoms.

Svarbu atskirti pakartojimą ir reprodukciją. Pakartojimas apima visiškai naujo tyrimo atlikimą siekiant patikrinti pradinę hipotezę, o reprodukcija orientuota į pradinių duomenų pakartotinę analizę siekiant patikrinti rezultatus. Abu aspektai yra gyvybiškai svarbūs nustatant mokslinių išvadų patikimumą.

Problemos mastas: paveiktos disciplinos

Reprodukcijos krizė neapsiriboja viena sritimi; ji paveikia platų disciplinų spektrą, įskaitant:

• Psichologija: Ši sritis buvo viena pirmųjų, pripažinusių krizę, o tyrimai parodė žemus klasikinių psichologinių eksperimentų pakartojimo rodiklius. Pavyzdžiui, „Atvirojo mokslo bendradarbiavimo“ (Open Science Collaboration) projekte buvo bandoma pakartoti 100 tyrimų, paskelbtų pagrindiniuose psichologijos žurnaluose, ir nustatyta, kad tik 36% pakartojimų davė statistiškai reikšmingus rezultatus ta pačia kryptimi kaip ir pirminiame tyrime.
• Medicina ir biomedicinos tyrimai: Nesugebėjimas pakartoti ikiklinikinių tyrimų rezultatų gali turėti rimtų pasekmių vaistų kūrimui ir klinikiniams tyrimams. Tyrimai parodė, kad didelė dalis ikiklinikinių tyrimų tokiose srityse kaip vėžio tyrimai negali būti pakartota, o tai lemia išteklių švaistymą ir galimą žalą pacientams. 2011 m. „Bayer“ atliktas tyrimas parodė, kad jie galėjo pakartoti tik 25% tirtų ikiklinikinių tyrimų rezultatų. „Amgen“ susidūrė su panašiu iššūkiu, sėkmingai pakartoję tik 11% peržiūrėtų „esminių“ vėžio tyrimų.
• Ekonomika: Susirūpinimas dėl duomenų manipuliavimo, atrankinio ataskaitų teikimo ir skaidrumo trūkumo taip pat buvo iškeltas ekonomikoje. Tyrėjai vis dažniau pasisako už išankstinę tyrimų registraciją ir atvirą dalijimąsi duomenimis, siekiant pagerinti ekonominių tyrimų patikimumą.
• Inžinerija: Nors apie tai kalbama mažiau, inžinerijos sritys taip pat yra pažeidžiamos. Modeliavimo rezultatai ir eksperimentiniai duomenys gali būti nevisiškai dokumentuoti ar prieinami, o tai trukdo nepriklausomai patikrinti projektinius teiginius.
• Socialiniai mokslai: Kaip ir psichologija, kiti socialiniai mokslai, tokie kaip sociologija ir politikos mokslai, susiduria su iššūkiais pakartojant sudėtingus socialinius reiškinius ir apklausų rezultatus.

Reprodukcijos krizės priežastys

Reprodukcijos krizė yra daugialypė problema, turinti keletą prisidedančių veiksnių:

• Publikavimo šališkumas: Žurnalai dažnai teikia pirmenybę teigiamų ar statistiškai reikšmingų rezultatų publikavimui, o tai lemia šališkumą neigiamų ar neaiškių išvadų atžvilgiu. Ši „stalčiaus problema“ reiškia, kad didelė dalis tyrimų, kurie nepatvirtina hipotezės, lieka nepaskelbti, iškreipiant bendrą vaizdą.
• Statistinis reikšmingumas ir p reikšmės manipuliavimas (P-Hacking): Pernelyg didelis pasitikėjimas p reikšmėmis kaip vieninteliu rezultatų reikšmingumo vertinimo kriterijumi gali lemti „p-hacking“, kai tyrėjai manipuliuoja duomenimis ar analizės metodais, siekdami gauti statistiškai reikšmingus rezultatus, net jei jie yra klaidingi. Tai apima tokias technikas kaip duomenų taškų pridėjimas ar pašalinimas, statistinio testo keitimas arba tik reikšmingų išvadų iš kelių analizių atrankinis pranešimas.
• Skaidrumo ir duomenų dalijimosi trūkumas: Daugelis tyrėjų nesidalija savo duomenimis, kodu ar išsamiais metodais, todėl kitiems neįmanoma patikrinti jų išvadų. Šis skaidrumo trūkumas trukdo nepriklausomam pakartojimui ir reprodukcijai. Prie to taip pat gali prisidėti nuosavybiniai duomenys ar programinė įranga bei konfidencialumo problemos.
• Nepakankamas mokymas tyrimų metodų ir statistikos srityje: Nepakankamas mokymas griežto tyrimų dizaino, statistinės analizės ir duomenų valdymo srityse gali lemti klaidas ir šališkumą tyrimuose. Tyrėjai gali nežinoti geriausių praktikų, užtikrinančių reprodukciją, ir netyčia gali imtis praktikų, kurios kenkia jų išvadų patikimumui.
• Paskatos naujumui ir poveikiui: Akademinių apdovanojimų sistema dažnai teikia pirmenybę naujoms ir įtakingoms išvadoms, o ne griežtiems ir reprodukuojamiems tyrimams. Tai gali skatinti tyrėjus eiti lengviausiu keliu, užsiimti abejotinomis tyrimų praktikomis ar pervertinti savo rezultatų reikšmę, siekiant publikuoti aukšto poveikio žurnaluose.
• Tyrimų sudėtingumas: Kai kurias tyrimų sritis, ypač tas, kurios apima sudėtingas sistemas ar didelius duomenų rinkinius, iš prigimties sunku atkurti. Tokie veiksniai kaip eksperimentinių sąlygų svyravimai, subtilūs duomenų apdorojimo skirtumai ir sudėtingų sistemų stochastiškumas gali apsunkinti nuoseklių rezultatų gavimą skirtinguose tyrimuose.
• Sukčiavimas ir netinkamas elgesys: Nors tai pasitaiko rečiau, atviro sukčiavimo ar duomenų klastojimo atvejai taip pat prisideda prie reprodukcijos krizės. Nors šie atvejai yra gana reti, jie kenkia visuomenės pasitikėjimui mokslu ir pabrėžia tvirtos tyrimų etikos ir priežiūros svarbą.

Reprodukcijos krizės pasekmės

Reprodukcijos krizės pasekmės yra plačios ir paveikia įvairius mokslo ir visuomenės aspektus:

• Visuomenės pasitikėjimo mokslu erozija: Kai paaiškėja, kad mokslinių tyrimų rezultatai yra nepatikimi, tai gali pakenkti visuomenės pasitikėjimui mokslu ir mokslininkais. Tai gali turėti neigiamų pasekmių visuomenės paramai mokslinių tyrimų finansavimui, mokslinių įrodymų priėmimui ir norui priimti mokslu pagrįstą politiką.
• Iššvaistyti ištekliai: Nereprodukuojami tyrimai reiškia didelį išteklių, įskaitant laiką, pinigus ir pastangas, švaistymą. Kai tyrimų negalima pakartoti, tai reiškia, kad pradinė investicija į tyrimą iš esmės buvo iššvaistyta, o tolesni tyrimai, pagrįsti tomis nepatikimomis išvadomis, taip pat gali būti klaidingi.
• Sulėtėjusi mokslo pažanga: Reprodukcijos krizė gali sulėtinti mokslo pažangos tempą, nukreipdama išteklius ir dėmesį nuo patikimų tyrimų. Kai tyrėjai skiria laiką ir pastangas bandydami pakartoti nepatikimas išvadas, tai atima iš jų galimybę atlikti naujus tyrimus ir pasiekti tikrą pažangą savo srityje.
• Žala pacientams ir visuomenei: Tokiose srityse kaip medicina ir visuomenės sveikata nereprodukuojami tyrimai gali turėti tiesioginių pasekmių pacientams ir visuomenei. Pavyzdžiui, jei vaistas ar gydymas yra pagrįstas nepatikimais tyrimais, jis gali būti neveiksmingas ar net žalingas. Panašiai, jei visuomenės sveikatos politika grindžiama klaidingais duomenimis, ji gali sukelti nenumatytų pasekmių.
• Žala mokslininkų karjerai: Tyrėjai, dalyvaujantys nereprodukuojamuose tyrimuose, gali pakenkti savo karjerai. Tai gali apimti sunkumus gaunant finansavimą, publikuojant aukšto poveikio žurnaluose ir užsitikrinant akademines pareigas. Spaudimas publikuoti ir konkurencinis akademinių tyrimų pobūdis gali skatinti tyrėjus eiti lengviausiu keliu ir užsiimti abejotinomis tyrimų praktikomis, kurios galiausiai gali pakenkti jų karjerai.

Reprodukcijos krizės sprendimas: sprendimai ir strategijos

Reprodukcijos krizės sprendimas reikalauja daugialypio požiūrio, apimančio tyrimų praktikos, paskatų ir institucinės politikos pokyčius:

• Atvirojo mokslo praktikų skatinimas: Atvirojo mokslo praktikos, tokios kaip dalijimasis duomenimis, kodu ir išankstinė tyrimų registracija, yra būtinos gerinant reprodukciją. Atviri duomenys leidžia kitiems tyrėjams patikrinti pirmines išvadas ir atlikti tolesnes analizes. Išankstinė registracija padeda išvengti p reikšmės manipuliavimo ir atrankinio ataskaitų teikimo, reikalaujant, kad tyrėjai iš anksto nurodytų savo hipotezes, metodus ir analizės planus. Platformos, tokios kaip Atvirojo mokslo karkasas (OSF), teikia išteklius ir įrankius atvirojo mokslo praktikoms įgyvendinti.
• Statistinio mokymo ir metodų tobulinimas: Tyrėjų geresnis mokymas statistinių metodų ir tyrimų dizaino srityje yra labai svarbus siekiant išvengti klaidų ir šališkumo. Tai apima mokymą apie p reikšmių apribojimus, efektų dydžių svarbą ir p reikšmės manipuliavimo galimybę. Tai taip pat apima patikimesnių statistinių metodų, tokių kaip Bajesinė statistika ir metaanalizė, naudojimo skatinimą.
• Paskatų sistemos keitimas: Akademinių apdovanojimų sistemą reikia reformuoti, kad pirmenybė būtų teikiama griežtiems ir reprodukuojamiems tyrimams, o ne naujumui ir poveikiui. Tai apima tyrėjų pripažinimą ir apdovanojimą už dalijimąsi duomenimis, pakartojimo tyrimus ir indėlį į atvirąjį mokslą. Žurnalai ir finansavimo agentūros taip pat turėtų skirti daugiau dėmesio tyrimų pasiūlymų ir publikacijų metodologiniam griežtumui.
• Recenzavimo stiprinimas: Recenzavimas atlieka lemiamą vaidmenį užtikrinant tyrimų kokybę ir patikimumą. Tačiau recenzavimo procesas dažnai yra ydingas ir gali būti jautrus šališkumui. Siekdami pagerinti recenzavimą, žurnalai turėtų apsvarstyti skaidresnių ir griežtesnių recenzavimo procesų įgyvendinimą, pavyzdžiui, reikalaujant, kad recenzentai vertintų duomenų, kodo ir metodų kokybę. Jie taip pat turėtų skatinti recenzentus sutelkti dėmesį į tyrimo metodologinį griežtumą, o ne tik į išvadų naujumą.
• Pakartojimo tyrimų skatinimas: Pakartojimo tyrimai yra būtini norint patikrinti tyrimų išvadų patikimumą. Tačiau pakartojimo tyrimai dažnai yra nuvertinami ir nepakankamai finansuojami. Siekdamos tai išspręsti, finansavimo agentūros turėtų skirti daugiau išteklių pakartojimo tyrimams, o žurnalai turėtų būti labiau linkę juos publikuoti. Tyrėjai taip pat turėtų būti skatinami atlikti pakartojimo tyrimus ir viešai skelbti jų rezultatus.
• Tyrimų etikos ir sąžiningumo stiprinimas: Tyrimų etikos ir sąžiningumo stiprinimas yra labai svarbus siekiant išvengti sukčiavimo ir netinkamo elgesio. Tai apima tyrėjų mokymą etiško elgesio, skaidrumo ir atskaitomybės kultūros skatinimą bei aiškių procedūrų nustatymą tiriant įtarimus dėl netinkamo elgesio. Institucijos taip pat turėtų įgyvendinti politiką, skirtą apsaugoti pranešėjus ir užtikrinti, kad tyrėjai nebūtų baudžiami už pranešimą apie netinkamą elgesį.
• Ataskaitų teikimo gairių kūrimas ir priėmimas: Standartizuotos ataskaitų teikimo gairės, tokios kaip CONSORT gairės klinikiniams tyrimams ir PRISMA gairės sisteminėms apžvalgoms, gali padėti pagerinti tyrimų ataskaitų skaidrumą ir išsamumą. Šios gairės pateikia informacijos, kuri turėtų būti įtraukta į tyrimų ataskaitas, kontrolinius sąrašus, todėl skaitytojams lengviau įvertinti tyrimo kokybę ir patikimumą. Žurnalai turėtų skatinti autorius laikytis šių gairių ir teikti mokymus bei išteklius, padedančius jiems tai daryti.

Iniciatyvų ir organizacijų, sprendžiančių krizę, pavyzdžiai

Keletas iniciatyvų ir organizacijų aktyviai dirba siekdamos išspręsti reprodukcijos krizę:

• Atvirojo mokslo karkasas (OSF): Nemokama, atviro kodo platforma, palaikanti atvirojo mokslo praktikas, teikianti įrankius duomenų ir kodo dalijimuisi, išankstinei registracijai ir bendradarbiavimui.
• Atvirojo mokslo centras (COS): Organizacija, skirta skatinti atvirojo mokslo praktikas ir gerinti tyrimų reprodukciją. COS atlieka tyrimus, kuria įrankius ir teikia mokymus, padedančius tyrėjams taikyti atvirojo mokslo praktikas.
• Registruotos ataskaitos: Publikavimo formatas, kai tyrimai recenzuojami prieš renkant duomenis, o priėmimas grindžiamas tyrimo dizainu ir pagrindimu, o ne rezultatais. Tai padeda sumažinti publikavimo šališkumą ir p reikšmės manipuliavimą.
• „Many Labs“ projektai: Didelio masto bendradarbiavimo projektai, kuriuose tyrimai kartojami keliose laboratorijose siekiant įvertinti išvadų apibendrinamumą.
• Reprodukcijos projektas: vėžio biologija: Iniciatyva, skirta pakartoti tam tikrus didelio poveikio vėžio biologijos straipsnius, siekiant įvertinti vėžio tyrimų reprodukciją.
• „AllTrials“: Kampanija, raginanti registruoti visus klinikinius tyrimus ir pranešti apie jų rezultatus.

Pasaulinės perspektyvos apie reprodukciją

Reprodukcijos krizė yra pasaulinė problema, tačiau iššūkiai ir sprendimai gali skirtis įvairiose šalyse ir regionuose. Tokie veiksniai kaip mokslinių tyrimų finansavimas, akademinė kultūra ir reguliavimo sistemos gali daryti įtaką tyrimų reprodukcijai. Pavyzdžiui:

• Europa: Europos Komisija pradėjo iniciatyvas, skirtas skatinti atvirąjį mokslą ir gerinti tyrimų sąžiningumą visoje Europos Sąjungoje. Šios iniciatyvos apima atvirosios prieigos publikavimo, duomenų dalijimosi ir mokymų tyrimų etikos srityje finansavimą.
• Šiaurės Amerika: Jungtinių Valstijų Nacionaliniai sveikatos institutai (NIH) įgyvendino politiką, skatinančią griežtumą ir reprodukciją biomedicinos tyrimuose. Šios politikos apima reikalavimus dalytis duomenimis, iš anksto registruoti klinikinius tyrimus ir mokyti statistinių metodų.
• Azija: Tokios šalys kaip Kinija ir Indija daug investuoja į mokslinius tyrimus ir plėtrą, tačiau jos taip pat susiduria su iššūkiais užtikrinant tyrimų kokybę ir patikimumą. Azijoje vis labiau suvokiama reprodukcijos krizė, ir dedamos pastangos skatinti atvirąjį mokslą ir gerinti tyrimų etiką.
• Afrika: Afrikos šalys susiduria su unikaliais iššūkiais atliekant ir kartojant tyrimus dėl ribotų išteklių ir infrastruktūros. Tačiau Afrikoje vis labiau pripažįstama atvirojo mokslo ir duomenų dalijimosi svarba, ir vykdomos iniciatyvos šioms praktikoms skatinti.

Tyrimų patikimumo ateitis

Reprodukcijos krizės sprendimas yra nuolatinis procesas, reikalaujantis ilgalaikių pastangų ir bendradarbiavimo iš tyrėjų, institucijų, finansavimo agentūrų ir žurnalų. Skatindami atvirojo mokslo praktikas, tobulindami statistinį mokymą, keisdami paskatų struktūrą, stiprindami recenzavimą ir gerindami tyrimų etiką, galime pagerinti tyrimų patikimumą ir pagrįstumą bei sukurti patikimesnę ir įtakingesnę mokslo įmonę.

Tyrimų ateitis priklauso nuo mūsų gebėjimo išspręsti reprodukcijos krizę ir užtikrinti, kad mokslinės išvados būtų tvirtos, patikimos ir apibendrinamos. Tam prireiks kultūrinio pokyčio, kaip mes atliekame ir vertiname tyrimus, tačiau tokio pokyčio nauda bus didžiulė, leisianti pasiekti greitesnę mokslo pažangą, geresnius rezultatus pacientams ir visuomenei bei didesnį visuomenės pasitikėjimą mokslo įmone.

Praktinės įžvalgos mokslininkams

Štai keletas praktinių žingsnių, kurių tyrėjai gali imtis, siekdami pagerinti savo darbo reprodukciją:

• Iš anksto registruokite savo tyrimus: Naudokitės tokiomis platformomis kaip OSF, kad iš anksto registruotumėte savo hipotezes, metodus ir analizės planus prieš renkant duomenis.
• Dalykitės savo duomenimis ir kodu: Kai tik įmanoma, viešai prieinamus padarykite savo duomenis, kodą ir medžiagas.
• Naudokite griežtus statistinius metodus: Pasikonsultuokite su statistiku ir naudokite tinkamus statistinius metodus savo duomenims analizuoti.
• Praneškite apie visus rezultatus: Venkite atrankinio ataskaitų teikimo ir praneškite apie visas išvadas, įskaitant neigiamus ar neaiškius rezultatus.
• Atlikite pakartojimo tyrimus: Bandykite pakartoti savo pačių išvadas ir skatinkite kitus tai daryti.
• Laikykitės ataskaitų teikimo gairių: Laikykitės ataskaitų teikimo gairių, tokių kaip CONSORT ir PRISMA, kad užtikrintumėte skaidrumą ir išsamumą.
• Dalyvaukite seminaruose ir mokymuose: Nuolat tobulinkite savo žinias ir įgūdžius tyrimų metodų ir statistikos srityje.
• Agituokite už atvirąjį mokslą: Skatinkite atvirojo mokslo praktikas savo institucijoje ir bendruomenėje.

Imdamiesi šių žingsnių, tyrėjai gali prisidėti prie patikimesnės ir patikimesnės mokslo įmonės ir padėti spręsti reprodukcijos krizę.